iT邦幫忙

2021 iThome 鐵人賽

DAY 26
0
AI & Data

當自然語言處理遇上深度學習系列 第 26

[神經機器翻譯理論與實作] 重新檢視有無注意力機制的Encoder-Decoder

  • 分享至 

  • xImage
  •  

前言

今天是個美麗的錯誤,本來預計將昨日寫好的 EncoderDecoderLuongAttention 類別整合進單一個繼承自 tensorflow.keras.Model 的模型類別,只可惜一直無法成功除蟲/images/emoticon/emoticon02.gif
由於 Keras API 是基於 Tensorflow 框架的高階函式庫,要自行定義模型類別,需要對於 Tensorflow 的變數型態有基本的掌握,今日就無法產出有質量的內容了。因此我後來還是選擇了直接呼叫 Kerasfunctional APIs 來建模,並比較它們在同一份文本上預測精準度的差異。

seq2seq預測準確度比較

我們一樣使用之前的英文-西班牙文雙語平行語料庫進行訓練:

使用 Luong 注意力機制的 Encoder-Decoder 訓練歷程
https://ithelp.ithome.com.tw/upload/images/20211004/20140744cn9sPjoE6W.jpg

未使用 Luong 注意力機制的 Encoder-Decoder 訓練歷程
https://ithelp.ithome.com.tw/upload/images/20211004/201407440aCja8bOMc.jpg

結語

關於 Seq2Seq 的專篇討論就到此告一段落,明天我將會重新回溯資料的準備以及機器學習的訓練及推論流程,並著手進行中文-英文語料庫的文本處理,建立翻譯器所需之訓練資料。大家晚安!

閱讀更多

  1. Making new Layers and Models via subclassing

上一篇
[神經機器翻譯理論與實作] 將Encoder、Decoder和Attention統統包起來
下一篇
[神經機器翻譯理論與實作] 從頭建立英中文翻譯器 (I)
系列文
當自然語言處理遇上深度學習33
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言